Image token removal is an efficient augmentation strategy for reducing the cost of computing image features. However, this efficient augmentation strategy has been found to adversely affect the accuracy of CLIP-based training. We hypothesize that removing a large portion of image tokens may improperly discard the semantic content associated with a given text description, thus constituting an incorrect pairing target in CLIP training. To address this issue, we propose an attentive token removal approach for CLIP training, which retains tokens with a high semantic correlation to the text description. The correlation scores are computed in an online fashion using the EMA version of the visual encoder. Our experiments show that the proposed attentive masking approach performs better than the previous method of random token removal for CLIP training. The approach also makes it efficient to apply multiple augmentation views to the image, as well as introducing instance contrastive learning tasks between these views into the CLIP framework. Compared to other CLIP improvements that combine different pre-training targets such as SLIP and MaskCLIP, our method is not only more effective, but also much more efficient. Specifically, using ViT-B and YFCC-15M dataset, our approach achieves $43.9\%$ top-1 accuracy on ImageNet-1K zero-shot classification, as well as $62.7/42.1$ and $38.0/23.2$ I2T/T2I retrieval accuracy on Flickr30K and MS COCO, which are $+1.1\%$, $+5.5/+0.9$, and $+4.4/+1.3$ higher than the SLIP method, while being $2.30\times$ faster. An efficient version of our approach running $1.16\times$ faster than the plain CLIP model achieves significant gains of $+5.3\%$, $+11.3/+8.0$, and $+9.5/+4.9$ on these benchmarks.

从大脑的事件驱动和稀疏的尖峰特征中受益，尖峰神经网络（SNN）已成为人工神经网络（ANN）的一种节能替代品。但是，SNNS和ANN之间的性能差距很长一段时间以来一直在延伸SNNS。为了利用SNN的全部潜力，我们研究了SNN中注意机制的影响。我们首先使用插件套件提出了我们的注意力，称为多维关注（MA）。然后，提出了一种新的注意力SNN体系结构，并提出了端到端训练，称为“ ma-snn”，该体系结构分别或同时或同时延伸了沿时间，通道以及空间维度的注意力重量。基于现有的神经科学理论，我们利用注意力重量来优化膜电位，进而以数据依赖性方式调节尖峰响应。 MA以可忽略的其他参数为代价，促进了香草SNN，以实现更稀疏的尖峰活动，更好的性能和能源效率。实验是在基于事件的DVS128手势/步态动作识别和Imagenet-1K图像分类中进行的。在手势/步态上，尖峰计数减少了84.9％/81.6％，任务准确性和能源效率提高了5.9％/4.7％和3.4 $ \ times $/3.2 $ \ times $。在ImagEnet-1K上，我们在单个/4步res-SNN-104上获得了75.92％和77.08％的TOP-1精度，这是SNN的最新结果。据我们所知，这是SNN社区与大规模数据集中的ANN相比，SNN社区取得了可比甚至更好的性能。我们的工作阐明了SNN作为支持SNN的各种应用程序的一般骨干的潜力，在有效性和效率之间取得了巨大平衡。

本文介绍了蒙古人的高质量开源文本到语音（TTS）合成数据集，蒙古是一种低资源的语言，该语言是全球超过1000万人所讲的。该数据集名为MNTTS，由一位22岁专业女性蒙古播音员说的大约8个小时的录音录音组成。它是第一个开发的公开数据集，旨在促进学术界和行业中的蒙古TTS应用程序。在本文中，我们通过描述数据集开发程序并面临挑战来分享我们的经验。为了证明数据集的可靠性，我们建立了一个基于FastSpeech2模型和HIFI-GAN Vocoder的强大的非自动回调基线系统，并使用主观平均意见分数（MOS）和实时因素（RTF）指标对其进行了评估。评估结果表明，在我们的数据集上训练的功能强大的基线系统可在4和RTF上获得MOS，大约3.30美元\ times10^{ - 1} $，这使其适用于实际使用。数据集，培训配方和预估计的TTS模型是免费可用的\ footNote {\ label {github} \ url {https://github.com/walker.com/walker-hyf/mntts}}}。

医疗关系提取（MRE）任务旨在提取医学文本中实体之间的关系。传统的关系提取方法通过探索句法信息，例如依赖树。但是，由外域解析器产生的医学文本的1好的依赖树的质量相对有限，因此医疗关系提取方法的性能可能会退化。为此，我们提出了一种基于因果解释理论的医学文本中共同模拟语义和句法信息的方法。我们生成依赖性森林，这些森林由1-最佳依赖树组成。然后，采用特定于任务的因果解释者来修剪依赖性森林，该森林将进一步送入设计的图形卷积网络，以学习下游任务的相应表示。从经验上讲，基准医学数据集的各种比较证明了我们模型的有效性。

物联网技术的开发使各种传感器可以集成到移动设备中。基于传感器数据的人类活动识别（HAR）已成为机器学习和无处不在计算领域的积极研究主题。但是，由于人类活动的频率不一致，人类活动数据集中的每个活动的数据量都会失衡。考虑到有限的传感器资源和手动标记的传感器数据的高成本，人类活动识别面临着高度不平衡的活动数据集的挑战。在本文中，我们建议平衡传感器数据生成的对抗网络（BSDGAN），以生成少数人类活动的传感器数据。所提出的BSDGAN由生成器模型和鉴别模型组成。考虑到人类活动数据集的极端失衡，使用自动编码器来初始化BSDGAN的训练过程，并确保可以学习每个活动的数据特征。生成的活动数据与原始数据集结合在一起，以平衡人类活动类别的活动数据量。我们在两个公开可用的人类活动数据集WISDM和UNIMIB上部署了多个人类活动识别模型。实验结果表明，提出的BSDGAN可以有效地捕获真实人类活动传感器数据的数据特征，并生成逼真的合成传感器数据。同时，平衡的活动数据集可以有效地帮助活动识别模型提高识别精度。

由于其广泛的应用，情感行为分析引起了研究人员的关注。但是，获得大量面部图像的准确注释是详尽的。因此，我们建议通过在未标记的面部图像上预处理的蒙版自动编码器（MAE）利用先前的面部信息。此外，我们结合了MAE预处理的视觉变压器（VIT）和AffectNet预处理的CNN，以执行多任务情绪识别。我们注意到表达和动作单元（AU）得分是价值（VA）回归的纯粹和完整的特征。结果，我们利用AffectNet预处理的CNN提取与表达和来自VIT的AU评分相连的表达评分，以获得最终的VA特征。此外，我们还提出了一个共同训练框架，该框架与两个平行的MAE预估计的VIT进行表达识别任务。为了使这两个视图独立，我们在训练过程中随机掩盖了大多数补丁。然后，执行JS差异以使两种视图的预测尽可能一致。 ABAW4上的结果表明我们的方法是有效的。

密集的视频字幕（DVC）的任务旨在为一个视频中的多个事件制作带有时间戳的字幕。语义信息对于DVC的本地化和描述都起着重要作用。我们提出了基于编码编码框架的语义辅助密集的视频字幕模型。在编码阶段，我们设计了一个概念检测器来提取语义信息，然后将其与多模式的视觉特征融合在一起，以充分代表输入视频。在解码阶段，我们设计了一个与本地化和字幕的分类头，以提供语义监督。我们的方法在DVC评估指标下对Youmakeup数据集进行了重大改进，并在PIC 4TH挑战的化妆密集视频字幕（MDVC）任务中实现了高性能。

已经在图形图上进行了大量研究，但是许多现有方法仅着重于优化图形布局的特定美学方面。给定图形，生成满足某些人类美学偏好的良好布局仍然是一项具有挑战性的任务，尤其是如果无法将这种偏好表示为可区分的目标函数。在本文中，我们提出了一个基于学生教师GAN的图形绘图框架SmartGD，该框架学会了绘制图形，就像人类学习执行任务一样。 SmartGD中的学生网络通过模仿良好的布局示例来学习图形，而SmartGD的教师网络负责提供有关生成布局优点的评分。当缺乏具体的审美标准来指定构成良好布局的内容时，学生网络可以从良好的布局示例中学习。另一方面，如果可以通过定量标准评估布局的好处（即使不是可区分的），学生网络可以将其用作优化目标美学的具体目标。为了实现目标，我们提出了一种新颖的gan变体，自挑战的gan，以了解有关任何审美标准的最佳布局分布，无论标准是否可区分。所提出的图形绘图框架不仅可以以与良好的布局示例相似的样式绘制图形，而且还可以根据任何给定的美学标准优化图形布局。一旦训练了模型，就可以根据示例布局的样式或所选美学标准可视化任意图。全面的实验研究表明，根据普通商定的指标，SMARTGD优于12种基准方法。

近年来，Experts（MOE）的混合物已成为一种有前途的深度学习技术，可以将模型能力扩展为万亿多个参数，同时通过稀疏计算降低计算成本。虽然MoE开设了一个非常大的模型的新领域，但由于MOE的动态性质与系统的静态平行性/管道层之间的不匹配，因此其数以千计的GPU的实现受到限制。我们提出了Tutel，这是一种具有动态自适应并行性和管道的高度可扩展的堆栈设计和实现。 TUTEL在运行时提供自适应并行性切换和自适应管道，分别达到1.74倍和2.00倍的单MOE层加速度。我们还提出了一种用于MOE通信速度的新颖的二维层次结构算法，该算法的表现超过了2,048 GPU的先前最先前的最新时间。 Tutel汇总了所有技术，最终在16 GPU和2,048 GPU上分别提供了4.96倍和5.75倍的加速度，分别通过Fairseq：Meta的Facebook AI AI研究序列到序列工具Kit（Tutel（Tutel）（Tutel）（Tutel）（现在由Fairseq部分采用）。 Tutel源代码可在公共场所获得：https：//github.com/microsoft/tutel。我们的评估表明，Tutel有效，有效地运行了一个基于现实的MOE模型，名为Swinv2-Moe，建立在Swin Transformer V2上，这是一种最先进的计算机视觉体系结构。在效率方面，Tutel加速了Swinv2-MoE，在FairSeq的训练和推理中分别达到1.55倍和2.11倍的速度。关于有效性，SWINV2-MOE模型在预训练和下游计算机视觉任务（例如可可对象检测）方面都比对应的密度密度模型都达到了卓越的精度，这表明Tutel准备对端到端现实世界模型训练的准备就绪和推理。 Swinv2-Moe在https://github.com/microsoft/swin-transformer中开放。

尽管神经形态计算的快速进展，但尖刺神经网络（SNNS）的能力不足和不足的表现力严重限制了其在实践中的应用范围。剩余学习和捷径被证明是培训深层神经网络的重要方法，但以前的工作评估了他们对基于尖峰的通信和时空动力学的特征的适用性。在本文中，我们首先确定这种疏忽导致受阻信息流程和伴随以前的残留SNN中的降解问题。然后，我们提出了一种新型的SNN定向的残余块MS-Reset，能够显着地扩展直接训练的SNN的深度，例如，在ImageNet上最多可在CiFar-10和104层上完成482层，而不会观察到任何轻微的降级问题。我们验证了基于帧和神经形态数据集的MS-Reset的有效性，并且MS-Resnet104在直接训练的SNN的域中的第一次实现了在ImageNet上的76.02％精度的优越结果。还观察到巨大的能量效率，平均仅需要每根神经元的一穗来分类输入样本。我们相信我们强大且可扩展的型号将为进一步探索SNN提供强大的支持。